Описание

Данный конфиг формируется/обновляется при добавлении/изменении наборов данных в dataCraft в разделе Данные:
add_datasets_dataCraft_example.jpg

Конфиг содержит следующую информацию:

  • slug - идентификатор набора данных, например cost_table
  • sources - список id источников данных, которые входят в это набор данных (описание источников хранится в конфиге datasources)
  • attr_model - содержит slug модели атрибуции, которая должна использоватся для этого набора данных. Если атрибуция не требуется, то содержание раздела остаётся пустым.

Данные из конфига используются для создания файлов моделей на слое 7_dataset (подробнее dbt Package) в DAG’е generate_models. Конфиг обновляется при каждом внесённом изменении в раздел Наборы данных в dataCraft. Это позволяет поддерживать модели по обработке данных актуальными.

Пример

"datasets": {
        "event_table": { 
            "sources": [
                "14"
            ],
            "attr_model": "my_first_model"
        },
        "cost_table": {
            "sources": [
                "13"
            ],
            "attr_model": ""
        }
     }